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Zick-Zack Scanbewegung bei konstantem 
Abstand uber das Dokument 

ZIG ZAG SCANNING MOVEMENT AT A 
CONSTANT DISTANCE OVER THE 
DOCUMENT 



(57) Abstract: The invention relates to a 
method for obtaining a result image using 
a plurality of individual images which can 
be successively produced during a scanning 
movement. According to the invention, the 
successive individual images are slightly 
offset in relation to each other, and image 
information is obtained from the individual 
images according to the misalignment and 
copied into the result image. 

(57) Zusammeiifassung: Die Ertindung betrifft 
ein Verfahren zur Gewinnung eines Eigebnisbil- 
des unter Verwendung einer Mehrzahl von Ein- 
zelbildem, die nacheinander bei einer Scanbewe- 
gung erzeugt werden. ErfindungsgemaB weisen 
die aufeinanderfolgenden Einzelbilder gegenein- 
ander jeweils einen geringen Versatz auf, wobei 
in Abhangigkeit vom Versatz eine Bildinforma- 
tion aus den Einzelbildem gewonnen und in das 
Ergebnisbild kopiert wird. 
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Beschreibung 

ERZEUGXJNG EINES GESAMTBILDES DURCH ABTASTEN VON TEILBEREICHEN EINER VORIAGB 

5 Die Erfindung betrifft ein Verfahren gemaB dem Oberbegriff 
des Patentanspruchs 1 . 

Ein solches V.erfahren kann beispiel.sweise zur Gewinnung eines 
Panoramabildes Oder auch zum Abtasten von Dokumenten einge- 
0 setzt werden. 

Der durch Kamera und Objektiv vorgegebene Raumwinkel, der 
durch ein Bild abgetastet beziehungsweise auf genommen wird/ 
reicht in vielen Situationen nicht aus, um Objekte aus der 
5 Umgebung vollstandig zu erfassen. Die Verwendung besonders 

weitwinkliger Objektive zur vollstandigen Aufnahme der Objek- 
te ist nicht immer moglich und auch nicht immer gewtinscht. 
Ein sehr weitwinkliges Objektiv verursacht durch die Eigen-^ 
schaften der Linse extreme Verzerrungen in den Bildrandberei- 

20 Chen, die den Eindruck in einem erheblichen Malie storen. Au- 
iierdem wird die Qualitcit der Objektdarstellung durch die li- 
mitierte Sensorauf losung gestort. In vielen Fallen ist aber 
auch das Austauschen der Linse, /. des Objektives nicht iti5g- 
lich, weil diese Komponente fest mit der Kamera integriert 

25 ist- 

Es sind bereits eine Vielzahl von Verfahren realisiert wor- 
den, die sich mit einer ahnlichen Themenstellung befasst ha- 
ben, Der Schwerpunkt der Betrachtung lag hierbei haufig in 

30 der Generierung von Panoramabildern. Die bekannten Verfahren 
zur Generierung von Bildern eines grafieren Gesichtsf eldes er- 
fordern zur Korrektur der Sensorfehler aber sehr aufwendige 
und komplexe Rechenoperationen zur Korrektur der Linsen- und 
Abbildungsf ehler, die sich nicht in Videoechtzeit .realisieren 

35 lassen. Eine Berechnung eines Bildes mit einem erweiterten 
Gesichtsfeld kann aus diesem Griind in der Regel nur offline 
durchgefUhrt werden. 
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Die zur Generierung des Ergebnisbildes verwendeten Bilder be- 
nOtigen bei diesen Verfahren nur einen geringen Oberlapp. 
Zwei zueinander benachibarte Bilder. beziehungsweise zwei auf- 
5 einanderfolgende Bilder enthalten in diesem Fall nur wenig 
gemeinsame Bildinf ormation. In Abhangigkeit der Umgebung be- 
sitzen die Bilder integral somit aber ganz unterschiedliche 
Beleuchtungsverhaltnisse . Durch eine Blendenregelung der Ka- 
mera fiihrt dies jedoch zu extrem unterschiedlichen Ausleuch- 
10 tungen an den zusammengef ugten Bildkanten, die ebenfalls nur 
unter sehr hohem Aufwand wieder harmonisiert werden konnen. 

Faxgerate und Flachbettscanner ermoglichen die elektronische 
Oberiuittlung von Dokumenten die in Papierform vorliegen. In 

15 vielen Situationen ist die Verfiigbarkeit dieser Gerate, wie 
zum Beispiel wahrend einer Besprechung, nicht iinmer gewahr- 
leistet. Eine Alternative zur Verwendung eines Faxgerates o- 
der eines Flachbrettscanners ist eine digitale Kamera, lait 
der sich die Bildinformation ebenfalls in digitaler Form ab- 

20 speichern lasst. Die Aufl5sung handelsUblicher Kameras reicht 
jedoch noch nicht aus, um eine ausreichende Aufl5sung des Do- 
kuments mit einer Einzelaufnahme zu erzeugen. 

Das Scannen von Dokumenten durch eine Vielzahl von Einzelbil- 
25 dern bei geringem Abstand zum Dokument zur Steigerung der 

Auflosung ist ein bekannter. Ansatz . Es gibt bisher nur wenige 
und zum Teil sehr instabile Verfahren, die dazu verwendet 
werden konnen, um aus den auf gezeichneten Einzelbildern wie- 
der ein zweidimensionales Gesamtbild zusammenzusetzen. 

30 

Die meisten Verfahren basieren darauf , dass die Bildinforma- 
tion in einem ersten Verarbeitungsschritt durch sehr komplexe 
Rechenoperationen zunSchst entzerrt werden. In einem darauf- 
folgenden Verarbeitungsschritt wird dann die angrenzende 
35 Bildinformation zu benachbarten Bildern in alle vier Bildkan- 
tenrichtungen harmonisiert. Die Bilder benotigen hierzu nur 
einen geringen Oberlapp. Jedes Bild wird sowohl horizontal 
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als auch vertikal zu benachbarten Bildern korrigiert . Neben 
der kaum zu tolerierenden hohen Rechenzeit ftihren diese Ver- 
fahren haufig zu rautenformigen Verzerrung der Bildinf ormati- 
on, die fiir den Betrachter sehr stOrend sind (siehe Figur 1) . 
Die Verfahren sind aufgrund ihrer Komplexitat haufig nur in- 
teraktiv und offline durchzuf Uhren. . 

Der Erfindung liegt die Auf gabe ' zugrunde ein Verfahren der 
eingangs genannte Art anzugeben, das ohne hohe Rechenleistung 
eine gute Qualitat des Ergebnisbildes liefert. 

Diese Aufgabe wird erf indungsgemaB durch die im Patentan- 
spruch 1 angegebenen Merkmale gelost. 

Das erf indungsgemaB Verfahren weist folgende Vorteile auf: 

• Schnelligkeit der Verarbeitung 

• Eine rechenintensive Korrektur der Linsen- beziehungsweise 
Abbildungsfehler im Bild ist nicht erforderlich 

0 • Harmonisierung der Beleuchtungssituation an zusammengefUg- 
ten Kanten ist durch. quasi kontinuierliche Bildabtastung 
nicht erforderlich 

• Steuerung der additiv hihzukommenden Bildinf ormation in 
Abhangigkeit des Bildversatzes . 

5 

Im folgenden Wird die Erfindung anhand eines in der Zeichnung 
dafgestellten Ausf uhrungsbeispieles naher beschrieben. Dabei 
zeigen: 

0 Figur 1 ein aus Einzelaufnahmen erstelltes Gesamtbild gem^B 
dem Stand der Technik, 
Figur 2 ein durch Scannen der Umgebung erzeugtes Ergebnis- 
bild, 

Figur 3 eine Scanbewegung zur Abtastung eines DokumenteS/ 
5 Figur 4 die Bildaufnahme bei der Abtastbewegung nach Figur 2, 
Figur 5 das Ergebnis auf einander folgende r eindimensionaler 
Scans, und 
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Figur 6 das Ergebnisbild nach dem erf indxingsgemafi Verfahren. 

Das erf indungsgemSB Verfahren geht von der Erzeugung von Ein- 
zelbildern aus, die bei einer ein- Oder bei einer zweidimen- 
5 sionalen Scan- Oder Abtastbewegung generiert werden 

Erf indungsgemaB werden Einzelbilder generiert, die zueinander 
einen hohen Oberlappungsgrad aufweisen. Hierdurch wird ein 
Gesamtbild erzeugt, das nahezu keine Verzerrungen aufweist 
10 und einen sehr groJien Raiomwinkel abdeckt. Das Verfahren er- 
moglicht es beispielsweise Panoramabilder zu erzeugen oder 
auch Dokumente mit einer hohen Auflosung einzuscannen. 

Der Bildsensor arbeitet dabei beispielsweise mit voller Ab- 
15 tastf requenz, so dass benachbarte Bilder durch einen langsa- 
men Schwenk iiber das zu erfassende Objekt nur einen geringen 
Versatz zueinander aufweisen. Von jedem Bild wird ein Teil 
der unverzerrten Bildinf ormation aus der Bildmitte in ein Er- 
gebnisbild kopiert. Die Gr5JBe des kopierten Bildausschnittes 
20 wird in Abhangigkeit des errechneten Versatzes zu dem vorher- 
gehenden Bild gesteuert. Da zwei benachbarte Bilder einen 
sehr hohen Oberlapp aufweisen, besitzen die Bilder nahezu i- 
dentische Beleuchtungsverhaltnisse, so dass beim Zusammenfii- 
gen benachbarter Bildkanten in der Kegel keine Harmonisierung 
25 der Ausleuchtung erforderlich ist. 

Zu Durchfuhrung des erf indungsgemaB en Verfahrens wird bei- 
spielsweise ein Handy benutzt, das folgende Komponenten auf- 
weist : . . . : - 
30 • Kameramodul auf der Ruckseite des Handys zur Aufzeichnung 
von Bilder aus der Umgebung 
• Prozessor zur Verarbeitung der Bilddaten und zur Generie- 
rung des Ergebnisbildes, (Bewegungsschatzung, Bildkomposi- 
tion, usw.) 
35 • Display zur Bildanzeige 
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Die Funktion zur Generierung des Ergebnisbildes (siehe auch 
Figur 2) auf der Basis einer Bildsequenz umfasst im wesentli- 
chen folgende Verarbeitungsschritte: 

5 • Bewegungsschatzung zweier benachbarter Bilder 
• Aufbau.des Ergebnisbildes 

In den folgenden Abschnitten werden die Verfahren in den ein- 
zelnen Verarbeitungsschritten unter der Vereinf achung nSher 
10 erlautert, dass der Scan der Umgebung eindimensional von 
rechts nach links erfolgt: 

1) Bewegungsschatzung zweier benachbarter Bilder 

15 Die Bewegung von zwei benachbarten Bildern wird beispielswei- 
se nach dem MSE (Mean Squared Error) Verfahren bestimmt. Bei 
dieseia Verfahren wird fiir ein Bildbereich des Ausgangsbildes 
der best moglichste Match in einer lokalen Nachbarschaf t zu 
dem vorherigen Bild gesucht, Durch den hasten Match ist der 

20 Verschiebungsvektor der beiden. Bilder relativ zueinander ge- 
geben. 

2) Aktualisierung des Ergebnisbildes 

25 Auf der Basis des Verschiebungsvektors wird die Position in- 
nerhalb des Ergebnisbildes ermittelt/ an die die hinzukommen- 
de Bildinformation kopiert wird. Die Breite des hinzukommen- 
den Bildausschnittes des Ausgangsbildes ist durch den Versatz 
der Bilder in Scanrichtung (x Richtung) gegeben. In der Weise 

30 entsteht keine Lticke zwischen dem schon aufgebauten und dem 
hinzugeftlgten Bildausschnitt . Senkrecht zur Scanrichtung (y 
Richtung) wird die voile Bildinformation berticksichtigt . Das 
Ergebnis der Verarbeitung vieler Bilder nach diesem Verfahren 
ist in Figur 1 zu sehen. 

35 , : . . 

Bei einer Weiterbildung des erf indungsgemafi Verfahrens er- 
folgt das Scannen des Dokumentes durch eine Zick-Zack Bewe- 
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gung der Kamera Uber das Dokument in einem konstanten Abstand 
(siehe Figur 3) . Urn Variationen des Abstands zum Dokument und 
dam it GroJienanderungen in den Bildern wahrend des Scanvor- 
gangs zu vermeiden, wird die Kamera beispielsweise auf einem 
5 Gestell Uber das Dokument gefUhrt, bei dem die Kamera senk- 
recht nach unten ausgerichtet ist. Durch eine Bewegungsanaly- 
se auf einanderf olgender Bilder wird der zweidimensionale Scan 
in mehrere eindimensionale (horizontale) Scans zerlegt (siehe 
Figuren 4 und 5) • Jeder eindimensionale Scan zeigt einen ho- 

10 rizontalen, unverzerrten Streifen des Originaldokiaments . 

Durch die Zerlegung des zweidimensionalen Scans in mehrere 
eindimensionale Scans reduziert sich das Problem der Dokumen- 
tengenerierung auf das horizontale Skalieren der Bildstreifen 
und das Zusammenf tigen der Horizontalstreif en in vertikaler 

15 Richtung (siehe Figur 5) . Durch das lineare Skalieren der ge- 
Sconten Bildinformation werden rautenf ormige Verzerrungen im 
Gesamtbild vermieden, wie sie. bei herkommlichen Verf ahren 
auftreten (siehe Figur 6) . 

20 
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PatentansprUche 

1. Verfahren zur Gewinnung eines Ergebnisbildes unter Verwen- 
dung einer Mehrzahl von Einzelbildern, die nacheinander bei 

5 einer Scanbewegung erzeugt werden, 

dadurch gekennzeichnet dass 
die aufeinanderfolgenden Einzelbilder gegeneinander jeweils 
einen geringen Versatz aufweisen, wobei in Abhangigkeit vom 
Versatz eine Bildinf ormation aus den Einzelbildern gewonnen 
10 und in das Ergebnisbild kopiert wird. 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet dass 
die Scanbewegung zweidimensional ausgefiihrt wird. 
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FIG 1 Stand derTechnik 




Ergebnis bekannter.Ansatze zur Erstellung.eines 
Gesamtbildes bus Einzelaufnahmen 



FIG 2 




Ergebnis der Generierung eines Bildes mit erweitertem Gesichtsfeld 



BEST AVAILABLE COPY 

BNSDOCID: <WO ^0309104aA1J_> 



wo 03/091948 



2/3. 



PCT/EP03/04228 



FIG 3 




Zick-Zack Scanbewegung bei konstantem 
Abstand uber das Dokument 



Create n^wlD image update 1 D image 



FIG 4 




Zerlegung des zweidimensionalen Scans 
in mehrere eindimensionale Scans 



Track motion 
without update 
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FIGS 




Ergebnis der eindimenslonalen Scans nach 
Verfahren 2001E20583DE 



FIG 6 




Ergebnis des Gesamtbildes jedbch ohne Korrektur 
der Streifenskalierung 



BNSOOCIO: <WO ^0309194eAlJ_> 



BEST AVAILABLE COPY 



INTERNATIONAL SEARCH REPORT 



Intemat^Pjf Application No 

PCT/EP 03/04228 



A. CLASSIRCATION OF SUBJECT MATTER , 

IPC 7 G06T3/00 G06T3/40 



According to Intemailonal Patent Classlfteallon (IPC) orto both national dassfflcatton and IPC 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by dasslRcallon symbols) 

IPC 7 G06T 



Documentation searched other than minimum documentation to the extent that such documents are Included in the fields searched 
Electronic data base consulted during the international search (name of data base and. where pradical, search tenns used) 

EPO-Internal 



C, DOCUMENTS CONSIDERED TO BE RELEVANT 



Category Citation of document, with indication, where appropriate, of the lelevant passages 



Relevant to claim No. 



us 2001/010546 Al (CHEN SHENCHAMG ERIC) 
2 August 2001 (2001-08-02) 

paragraph '0019! - paragraph '0020! 

paragraph '0032!- paragraph '0037! 

figures 1^4 

EP 1 096 777 A (HEWLETT PACKARD CO) 

2 May 2001 (2001-05-02) 
abstract; figures 1,2 

US 5 581 637 A (CASS TODD A ET AL) 

3 December 1996 (1996-12-03) 
abstract; figures 1,2,4 



1,2 



1.2 
1,2 



□ 



Further documents are listed In the continuation of box G. 



Patent family members are listed In annex. 



Special categories of dted documents : 

* A' document deflnlng the general state of the art which Is not 

considered to be of particular relevance 
*E* earlier document but published on or after the International 

filing date 

'L* document which may throw doubts on priority clalm(8) or 
which Is cited to establish the pubDcation date of another 
citation or other special reason (as specified) 

"O* document referring to an oral dlsdosura. use. exhibition or 
other means 

'P* documenl published prior to the Intemailonal flQng date but 
later than the priority date claimed 



*T" later document published after the International fifing date 
or priority date and not in conflict with the application but 
dted to understand the principle or theory underlying the 
invention 

"X' document of particular relevance; the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

"Y' document of particular relevance; the claimed Invention 

cannot be considered to involve an Inventive step when the 
document is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
In the ait 

*&* document member of the same patent family 



Date of the actual completion of the International search 



5 August 2003 



Date of mailing of the intemattonai search report 



18/08/2003 



Name and maiDng address Of the ISA 

European Patent Office. P.B. 581B Patentlaan 2 
NL-2260iHVRyswljk 
TeL (-131-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 



Authorized officer 



Aratarl , R 



Form PCT/ISW210 (second shaat) (Jirty 1992) 



BNSDOCID: <WO_ 



_0309ie4aA1J_> 





INTERNATIONAL SEARCH RiEPORT 


lnternat||||j AppllcaUon No 

PCT/EP 03/04228 




Patent document 
cated in search report 


Publication 
date 


Patent family 
member(s) 


Publication 
date 




US 2001010546 Al 


02-08-2001 


AU 


8174898 A 


23-04-1999 



EP 1023803 Al 02-08-2000 

JP 2002503893 T 05-02-2002 
WO 9917543 Al 08-04-1999 



EP 


1096777 


A 


02-05-2001 


EP 


1096777 Al 


02-05-2001 


US 


5581637 


A 


03-12-1996 


JP 


8237407 A 


13-09-1996 



Foim PCT/18A/210 (patent tamny annex) (July 1882) 
BNSDOCID: <WO ^03091948A1 * > 



INTERNATIONALER RECHERCHENBERICHT 



lntematl^|es Aktenzetchen 

PCT/EP 03/04228 



KLASSIFIZIERUNQ DES ANUELOUNGSGEGENSTANOES 

PK 7 606T3/00 606T3/40 



Nach der Intemattonalen PatenUdasslfikation (IPK) odernach der natlonafen Khssglkatkm und cter IPK 



RECHERCHIERTE GEBIETE 



Recherchlerter MlndestprOfstotf (Ktassfflkatlonssystem und Klassifikattonssymbole ) 

~?K 7 606T 



Recherchleite aber ntoht zum Mlndestprafstoff gehdrande VerSffentHchungen. sowelt dtesa unter dla racherchleften Geblete fallen 



Wahrend der Intemationalen Recherche konsulUerte elektronlsche Datenbank (Name der Datenbank und evtl. veiwendete Suchbegriffe) 

EPO-Internal 



C. ALSWESENTLICHANGESEHENEUNTERLAGEN 



Kategorie* Bezelchnung der VerSffentltehung. soweR erforderOch unter Angabe der In Betracht kommenden Telle 



Betr. Anspruch Nr. 



us 2001/010546 Al (CHEN SHENCHANG ERIC) 
2. August 2001 (2001-08-02) 

Absatz 'OOig! - Absatz '0020! 

Absatz '0032! - Absatz *0037! 

Abb11dungen 1-4 

EP 1 096 777 A (HEWLETT PACKARD CO) 

2. Mai 2001 (2001-05-02) 
Zusammenfassung; Abb11dungen 1,2 

US 5 581 637 A (CASS TODD A ET AL) 

3. Dezember 1996 (1996-12-03) 
Zusammenfassung; Abblldungen 1,2,4 



1,2 



1.2 



1,2 



□ 



Weilere VerOffentllchungen slnd dar Foitset2ung von FeM C zu 
entnehmen 



0 



Siehe Anhang PatentfamHie 



« Besondere Kategorien von angegebenen Verdffemilchungen : 
'A' Verdffentlichung. die den aitgemelnen Stand darTechnlkdeflnlert, 
aber nicht als besonders bedeutsam anzusehen 1st 

'E' atteres Dokument. das ledoch erst am oder nach dem Internalfonalen 
Anmeldedatum verdffentiicht worden 1st 

*L* VerdffentUchung, die geelgnet 1st. etnen Prioritatsanspruch zwelfelhaft er- 
scheinen zu lassen, oder duich dla das VerfilfentUchungsdatum elner 
anderen Im RecherchenberlCht genannten VerdffemUchung balegt warden 
sou Oder die aus elnem anderen besonderen Grund angegeben ist (vAe 
ausgefOhrt) 

'O* VerdffentUchung, dla sich auf efne mQndllche Offenbarung. 

eine Benulzung. elne Aussiellung oder andere Mafinahmen bezleht 
*P* Ver5ffentUchung, die vor dem intemationalen Anmeldedatum, abernach 
dem beanspruchten Prioritatsdatum ver6ffentncht worden Ist 



*T* Spdtere VerOffentHchung, die nach dem Internallonalen Anmeldedatum 
Oder dem Prioritatsdatum verdffentiicht worden 1st und mlt der 
Anmeldung nicht kollidleft, sondem nur zum Verstandnis des der 
Erflndung zugrundeliegenden Prinzips oder der ihr zugrundellegenden 
Theorie angegeben ist 

'X* VerdffentUchung von besonderer Bedeutung; die beanspnichte Eifindung I 
kann alleln aufgrund dleser VerdffentUchung nicht als neu oder auf 
erfinderlscher TallgkeU beruhend betrachtet werden 

*Y* VerdffentUchung von besonderer Bedeutung; die beanspmchte Erflndung | 
kann nlchl als auf erflnderischer Tailgkeil beruhend betrachtet 
werden, wenn die VerdffentUchung mtt elner oder mehreren anderen 
VerOffentllchungen dieser Katagorle In Verblndung gebracht wird und 
diese Verblndung fQr einen Fadimann nahellegend tsl 

VerdffentUchung. die MSgUed derseiben Patentfamiife Ist 



Datum des Abschlusses der Intemattonalen Recherche 



5. August 2003 



Absendedatum des intemattonalen Recherchenberichts 



18/08/2003 



Name und Postanschrlft der Intemattonalen Recherchenbehdrde 
Europaisches Patentamt. P.B. 5B18 Patentlaan 2 
NL-2280HVRiJswjik • 
TeL (+31-70) 340-2040. Tx. 31 651 epo nl, 
Fax: (+31-70)340-3016 



BevoUmachtlgter Bedlensteter 

Aratarl , R 



Fbmiblatt PCT/lSA/2t0 (BlaH 2) (JuB 1892) 



BNSDOCID: <WO_ 



_0309194aA1 



INTERNATIONALER RECHERCHENBERICHT 



Intematli 



i^j^s AKlenzelchen 

PCT/EP 03/04228 



Im Recherchenberlcht 
angefOhrtes Patentdokument 



Datum der 
VerOttenUichung 



IV)itgl}ed(er) der 
Patentfamnie 



Datum der 
Verfiffentllchung 



US 


2001010546 


Al 


02-08-2001 


AU 


8174898 A 


23-04-1999 










EP 


1023803 Al 


02-08-2000 










OP 


2002503893 T 


05-02-2002 










UO 


• 9917543 Al 


08-04-1999 


EP 


1096777 


A 


02-05-2001 


EP 


1096777 Al 


02-05-2001 


US 


5581637 


A 


03-12-1996 


JP 


8237407 A 


13-09-1996 



Fomdslan PCT/I8A/210 (Anhang PatentlamIBe)tluIl 1092) 
BNSDOCID: <WO ^0309194aA1 I > 



